Ban lãnh đạo của Đảng Cộng sản trú ẩn tại Tashkent. Tuy nhiên, sau cái chết của Joseph Stalin vào năm 1953, Zachariadis đã tranh cãi với ban lãnh đạo mới của Liên Xô, do ông không đồng ý với hướng đi mới của Đảng Cộng sản Liên Xô CPSU dưới quyền Nikita Khrushchev.

Vào tháng 5 năm 1956, trong Phiên họp toàn thể của Uỷ ban Trung ương lần thứ 6 đảng KKE, Đảng Cộng sản Liên Xô đã can thiệp và loại bỏ Zachariadis khỏi vị trí Tổng Bí thư. Vào tháng 2 năm 1957 Zachariadis cũng bị khai trừ luôn khỏi đảng KKE, cũng như nhiều người ủng hộ ông.

Zachariadis sống nốt phần đời còn lại trong cảnh lưu đày tại Siberia, ban đầu tại Yakutia và sau này là Surgut, Cộng hòa Xã hội chủ nghĩa Xô viết Liên bang Nga. Vào năm 1962, tuyệt vọng do điều kiện sống khắc nghiệt khi bị lưu đày, ông đã tìm cách đến được Moskva. Ở đó, ông tìm đến Đại sứ quán Hy Lạp và yêu cầu được trở về Hy Lạp, nơi ông muốn được xét xử vì những hành động của mình. Không ai biết liệu yêu cầu của ông đã từng được cân nhắc hay chưa. Ngay sau khi rời đại sứ quán Hy Lạp, ông bị lính Liên Xô bắt giữ và đưa về Surgut.[6] Tại đây ông đã tự sát, ở tuổi 70, vào năm 1973. Theo lời một vài người ủng hộ ông thì ông đã bị tử hình.[7] Dựa trên một số tài liệu được tiết lộ, vốn nằm trong kho lưu trữ của Bộ Nội Vụ Nga, ông được xác nhận là đã tự sát.[8]

Vào tháng 12 năm 1991, chỉ vài ngày sau khi Liên bang Xô Viết sụp đổ, thi hài của Zachariadis được đưa về quê hương Hy Lạp, và người ta tổ chức một tang lễ cho ông, nhờ đó đã giúp một số người ủng hộ trung thành cuối cùng cũng có cơ hội để tưởng niệm và vinh danh ông.[9] Ông được chôn cất ở Nghĩa trang Đầu tiên của Athens.

Vào năm 2011, một Hội nghị Toàn quốc của Đảng Cộng sản Hy Lạp đã phục hồi cương vị Tổng Bí thư đảng KKE cho Nikos Zachariadis. Đây là một trong những sự kiện thể hiện việc KKE đã thay đổi quan điểm kể từ sau sự sụp đổ của Liên Xô; đảng này cũng đi theo đường lối xét lại mà Đảng Cộng sản Liên Xô phát động sau khi Khrushchev nắm quyền.[10]